This Page Is Inserted by IFW Operations 
and is not a part of the Official Record 

BEST AVAILABLE IMAGES 

Defective images witliin this documeat are accurate representations of the 
original documents submitted by the ajpplicant. 

Defects in the images may include (but are not limited to): 

• BLACK BbRD^RS 

• TEXT CUT OFF AT TOP, BOTTOM OR SIDES 

• FADEDTEXT 

• ILLEGIBLETEXT 

• SKEWED/SLANTED IMAGES 

• COLORED PHOTOS 

• BLACK OR VERY BLACK AND WHITE DARK PHOTOS 

• GRAY SCALE DOCUMENTS 



IMAGES ARE BEST AVAILABLE COPY. 

A$ rescamiing documents will correet images^ 
pleas0 do not repait the images to ^t^^^ 
Image Problems Mailbox. 



This Page BtanKluspto) 



@ R^PUBLIQ UE FRA NgAISE 

INSTITUT NATIONAL 
DE LA PROPRI^TE INDUSTRIELLE 



PARIS 



N° de publication : 

{h n'titiliser que pour les 
commandes de repioduction) 

@ N° d'enreglstrement national 



2 679 083 
91 08607 



1)lntCP:H04B1/16 



DEMANDE DE BREVET D'INVENTION 



A1 



^22/ Date de depot : 09.07.91 . 
@ Priortte : 


vjy i#enrianoeur\S/ . ^ocieie one. § riiJM^uni-i^^r 
(Sod4t4 Anonyme) — FR. 


to) Date de la mise i disposition du public de la 
^ demande : 15.01.93 Bulletin 93/02. 

fee) Uste des documents cites dans ie rapport de 
recherciie : reporter ^lafindu present fysdcule. 


^2) lnventeur(s) : Burel Gilles. : , 


^o) References a d'autres documents nationaux 
apparentes : 


@ Titula!re(s) : 

^4) R/landataire : Nguyen Dominique. 



CO 
00 



^4) Precede et disposftif automatique de separation de sources. 

^7) Le proc^d de separation de sources ccmporte une 
pTtase prdalable, pendant laquelle une mesure du degr6 de 
d^pendance de n signaux est ddfinle; une phase d'appren- 
tissage pendant laquelle des exemples de mdlange de n si- r 
gnaux e, ^ e^ sont utilisds pourajuster, par approciies suc- 
cessives, des param^tres d'une fomie param^trique 
inverse assodee k une transfomnatlcn Inverse, de fa9on k 
minimiser une fonction de coOt dMemiinde ^ partir de la 
mesure du degra de dependance de n signaux s> k\ obte- 
nus par transformation inverse d'un melange aonne; une 
phase de separation de sources, pendant laquelle n si- 
gnaux originaux nouveaux sont estimds k partir d*une ob- 
servation d'un melange Instantand de ces signaux, en cal- 
culant la transformation inverse de Tobservation. 
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PROCEDE ET DISPOSITIF AUTOMATIQUE DE 
SEPARATION DE SOURCES 

L'lnvention se rapporte au domains du traltement du 
signal et concerns un procede automatique qui permet de 
retrouver n signaux orlglnaxix, appel6s sources, 4 partir de 
I'observation d'un melange instantane de ces signaux. Les 
appUcatlons concement tous les domalnes oH Von observe des 
melanges de sources independantes, et ou U est necessaire de 
retrouver ces sources ; notamment, dans le domaine medical oH 
les mesures fournies par les capteurs sont generalement des 
m§Ianges de signaux Issus de plusieurs sources Independantes et 
oH le probleme conslste 4 extraire de ces melanges les signaux 
utiles. Le meme probleme se trouve egalement dans le domaine du 
traitement d'antenne pour la s6paration de sources sonar ou 
radar, ou encore dans le domaine du traitement de la parole 
pour I'ameUoration des signaux de diction ou 11 est necessaire 
IS d'eliminer des sources sonores parasites dues par exemple k la 
presence d'autres locuteurs ou de bruits de moteurs dans un 
avion. Des appUcatlons & la compression d'images peuvent etre 
egalement envisagees, bien qu'il ne s'aglsse pas d'un probleme 
de separation ds sources. 

^ existe dlfferentes methodes de separation de 
sources, notamment des methodes qui necessitent des modeles a 
priori des sources, des methodes qxii cherchent & localiser les 
sources et des methodes qui exploitent I'ind^pendance des 
sources . 

methodes qui exploitent I'lndSpendance des 
sources, se sont llmltees au cas lin6ah^ et consistent & 
rechercher xme solution sous la forme suivante : 



30 



o\t) = A x^(t) 
\s\t) = F e^(t) 
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ou t, X (t), e*(t), (t) representent respectlvement le temps, 
les sources, les observations, les sorties d*un algorithme de 
recherche de la solution, dit algorithme d^apprentlssage, et ou 
A et F sont des matrices n x n. 

5 I/'algorithme cherche & estimer la matrice F de £a9on 

que les sorties s" (t) approchent au mieux les sources (t) ; 
c'est-&-dtre de fagon que I'on retrouve dans s^* (t) les 
composantes de x (t), a une permutation et une dilatation pres. 

L'estimatlon de la matrice F peut etre effectuee de 
differentes fagons : 

une premiere methode consiste k chercher une 
solution sous la forme F = (I+G)""^ ou I est la matrice 
identite, et G une matrice dont les termes dlagonaux sont nuls. 
L'algorithme estime la matrice Q par un processus it6rati£, puis 

15 la matrice F en est deduite . La matrice G qui realise la 
separation des sources est un etat stable du processus Iteratlf , 
mais le comportement de I'algorlthme n'est pas connu lorsqfue la 
matrice G choisie comme solution initiale du processus iteratif 
est eloignee de la veritable solution. L^apprentissage se 

20 decompose generalement en 2 phases : une premiere phase 
rapide qui aboutit a la decorrelation des sources, puis une 
phase plus lente qui realise l^independance des sources, 

- ime deuxieme methode plus directe consiste & etablir 
un systeme d'equations entre les cumulants d'ordre 4 de e^ et 

25 ceux de "i^ (les cumulants etant des combinaisons de moments) 
dont les inconnues sont les coefficients de la matrice F, 
I/'annulation des cumulants de s^ est imposee puis le systeme 
d'equations est resolu & I'aide d'une methode iterative de 
moindres carres, Cette methode semble plus rapide et robuste 

30 que la methode prec6dente. En partlculier, la rapidite est 
ass\iree par d'astucieuses decompositions matriclelles. 

Cependant, ces methodes anterieures ne permettent de 
traiter que des melanges lineaires, et de plus, certains aspects 
de ces methodes ne sont pas clalrement etablis sur le plan 

35 theorique, Notamment, en ce qui conceme la premiere methode 
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citee, 1g comportement de I'algorithme n'est pas connu lorsque 
la solution choisie pour Initialiser le processus Iteratif est 
eloignee de la veritable solution au probleme. 

L'invention concerne un procede de separation de 

5 sources fondamentalement different des precedes classiques qui 

n'est pas limite aux melanges lineaires et qui ne necessite a 
priori aucune connaissance sur les sources elles-memes, la seule 
contralnte 6tant que les sources soient Independantes , 

Selon I'inventlon , le precede de separation de 

10 sources permettant d'estlmer n signaux originaux, appeles 
sources, a partir d'une observation d^un melange instantane de 
ces signaux, les n sources etant Independantes et de variance 
non nidle, I'observation etant constituee de n signaux, le 
melange etant une transformation dont ime forme parametrique 

15 est connue mais dont les parametres sont Inconnus, est 
caracterise en ce qu*il comporte : 

- une phase prealable, pendant laquelle une mesure du 
degre de dependance de n signaux est deflnle, 

- une phase d'apprentissage, pendant laquelle des 
20 exemples de melange de n signaux sont utilises pour ajuster, par 

approches successives, des parametres d'une forme 

parametrique inverse assoclee & une transformation inverse, de 
fa9on a mlnlmiser la mesure du degre de dependance de n 
signaux obtenus par transformation Inverse d'un melange donne, 

25 ~ une phase de separation de sources, pendant 

laquelle n signaux originaux nouveaux sont estimes k partir 
d'lme observation d'un melange instantan6 de ces signaux, en 
calculant la transformation inverse de I'observation. 

D'autres particularltes et avantages de I'lnvention 

30 apparaitront clairement dans la description suivante donnee & 
titre d'exemple non limitatif et faite en regard des figures 
annexees qui representent : 

- la figure 1, un exemplc de dlspositif de separation 
de sources, selon I'lnvention, 
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- la figure 2, un exemple de reseau de neurones 
m\ilticouches , 

- la figure 3, une representation schematique de la 
structure interne d'un neurone, 

^ " la figure 4, un organigramme de la phase 

d'apprentissage, selon I'lnventlon. 

Le probleme de la separation de sources consiste ^ 
estimer n signaux aleatoires ou determinlstes x^, x«,..,, 
^n' * partir de ^observation d'une transformation 

10 Instantanee, notee v, de ces signaux. Ces signaux sont appelSs 

"sources" et sont notes par le vecteur x^ (t) ; les observations 
sont notees par le vecteur e^ (t) ; I'equatlon de la 
transformation instantanee s'ecrlt e* = v (x^ ; 1© parametre t 
deslgne le temps. 

^5 Pour resoudre ce probleme, aucune connaissance a 

priori sur les sources elles-memes n'est utillsee, mals seules 
les trols hypotheses suivantes sont faites : 

" les n sources sont independantes et de variance non 

nulle, 

20 - Tobservation est constitute de n signaux 

- la forme parametrlque de la transformation v est 
connue, mals les valeurs numerlques des paramttres sont 
inconnues . 

Ces hypotheses etant posees, la forme parametrlque 
inverse du melange, notee w, est consideree. Cette forme 
parametrlque est en general connue car les processus physiques 
qui interviennent dans chaque application particullere envisagee 
sont connus (par exemple les phenomemes d'attenuation dans le 

20 domaine des radiocommunicatlons) . Par contre, les valeurs 
numerlques des parametres de cette forme parametrlque inverse 
sont Inconnues. II s*agit alors de determiner les valeurs de ces 
parametres, notes W.., de fagon que les signaux, notes par le 
vecteur s, obtenus en calculant la transformation inverse des 

35 observations, correspondent aux signaux sources x^ a une 
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permutation et une deformation pres, L'equation de la 
transformaUon inverse s'ecrit ^= w (e^ et les composantes de s^ 
doivent done etre egales aux composantes de 1? a une 
permutation et une deformation pres. 

Pour que le vecteur F^soit une estimation du vecteur 
X, il est necessaire que les composantes de sf notees s^, 
soient independantes . H s'agit done de definir une mesure du 
degr6 de d^pendance des composantes de s^ et - d'ajuster par 
approches successives les parametres de la forme 

parametrique Inverse w de fa9on A minimiser cette mesure du 
degre de dependance des composantes de T? 

La mesure du degre de dependance des composantes de 
s sera appelee mesTire de dependance dans la suite de la 
description. 

La premiere phase du precede consiste h definir une 
mesure de dependance des composantes s^ de Les 
phenomenes physiques intervenant dans le probleme de la 
separation de sources etant des phenomenes stochastiques done 
soumis aux lois du hasard, une mesure de dependance peut etre 
definie & partlr des densites de probabiUte p-,. (s.) des 
composantes de s, ou Sj est une variable aleatoire et 

s. est une valeur particidiere de cette variable aleatoire. 
Par consequent, une condition necessaire et sufflsante pour que 
les composantes s^ soient independantes est donnee par 
25 Inequation (1) suivante : 

PSx..JS„(5l,..M5n) =PSi(5l).»PS„(5n) ] 

Lorsque les composantes s^ sont independantes, la 
mesure de dependance doit etre nuUe. Par consequent, 
30 I'expression (2) suivante peut servlr de base pour choisir une 
mesure de dependance : 

En fait, les composantes s^ doivent etre 
35 independantes en moyenne ; par consequent ^expression (2) est 
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integree sur toutes les valeurs possibles de Sj. En outre, 
pour obtenir une mesure de dependance bien adaptee au 
traitement de signaux reels, c*est-a-dire pour eviter les 
variations brutales de la mesure de dependance, pour attenuer 
5 des erreurs d'arrondi ou de mesure, et poxir eviter egalement la 
divergence de l*lntegrale lorsque les composantes s^ ont des 
valeurs discretes, un filtrage gaussien est Introduit sur le 
terme k integrer. La mesure de dependance est alors donnee par 
I'expression (3) suivante : 

£l"'L^ ^b5...^,(ai 5n)-ps,(si)...p5,(5„)]*n-^^r^j dsi...ds„ 

on les sont les ecarts types des composantes et ou le 

signe represente un produit de convolution, 

Etant donne qu'll est difficile d*exploiter une telle 
expression car 11 serait necessaire d'estimer les densites tie 
probabUite des composantes Sj^ et de realiser une Integration, 
cette expression est mise sous une forme equivalente en 
effectuant tout d*abord une transformation de Fourier. 

20 

La transformee de Fourier de la densite de probabilite 
Pg. est aussi la fonction caracteristique, notee ^si' 
telle que 

(4) *St.^Jtii,...,irn) =£'(e-^*<^«-'+™+^-»--)} 

25 ^ J 

ou E designe la moyenne arithmetique , et u est une variable 
certaine . 

Compte tenu du theoreme de Plancherel qui exprime le 
fait que la transformation de Fourier conserve la norme, et 
30 compte tenu des proprletes de la transformation de Fourier, 
I'expresslon de la mesure de dependance s'ecrit aussi sous la 
forme (5) suivante : 

35 
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°^ ^Sl...Sn ^^1' ^ji) est la transfonnee de Foiirier 

'^^ ^Sl...Sn V- 

Etant donne que les phenomenes physiques qvd 
intervlennent dans les problemes de separation de sources sont 
des phenomenes reels, done bornes, et que les moments de 
valeur absolue bomee existent, U est possible d'expUciter la 
mesure de dependance en decomposant les fonctions 
caracteristiques 0^^ en serie de Mac Laurin de fa9on k faire 
apparaitre les moments des composantes s^. 

La mesure de dependance est alors donnee par 
I'equation (6) suivante : 



avec 



ou sont des coefficients qui indlquent I'ordre des 

derivees partteUes. En pratique, le ' developpement en serle de 
Mac Laurin pent etre limite k I'ordre K, par exemple egal & 5, 
les termes suivants etant trds faibles. 

En se referant & I'equation (4) et en notant M ,^ le 
moment d'ordre <<^ de la composante s^, M^^ etant 
les moments croises d'ordre ^ . . . , o( ^ des * composantes 
25 s^, s'6crit aussl : 

(7) r«,„^„ = — ji — r(-ir''^-^-iw:v 

en developpant dans I'equation (6) la norme et en utilisant la 
30 llnearite de I'lntegration, une expression de la mesure de 
dependance est obtenu conformement A I'equation (8) suivante : 

(8) 51 Z ^0«..^nJ?l.-^«A/«n"^«Af^t~X?« 
•1 fft*-*On<K 
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Les coefficients ^ ^ et fl^ sent des nombres 
entieirs positifs ou nuls. K est xin nombre entier positif qui 
correspond au dernier ordre de developpement de I'equation (5) 
en serie de Mac Laurln. Les coefficients Hai..jinJh»J3n sont 
5 des nombres reels tels que : 



JO 



1 # 

oii <^a,0.er) = si oc + 0 est pair 

= 0 sinon 



20 



Lorsque I'un au moins des Indices ^ j ou Bj tend 
vers I'lnflni, le coefficient -ffoi.«a„j£7i.^n tend vers zero, 
Ceci permet de llmlter la sommation de I'expression (8) k un 
25 ordre K. 

L'expression (8) de la mesxire de dependance en 
fonction des moments est une forme quadratlque deflnie positive. 
Elle n'est done nuUe que lorsque tous les moments 
— JLn ^^^^ nuls. Pour des valours de K tendant vers 
30 l*infini, cette expression (8) est strictement equlvalente & 
I'expresslon (3) . 

Etant donne le nombre Important de calcxils & realiser, 
en pratiq[ue 11 est souvent possible de remplacer cette 
expression (8) par une forme quadratlque deflnie positive plus 
35 simple. Notamment^ pour un melange comportant un nombre L 
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d'inconnues, une forme quadratlque definle positive conduisant a 
annuler L moments peut etre sufflsante, car L equations sont 
utlUsees. Mais la non redondance de ces equations n'est 
nuUement garantie, et en cas d'6chec de la separation, il faut 
se rapprocher de la forme definle par I'equation (8) dont 
I'annulation garantie toujours I'lndependance, quels que solent 
le melange et les signaTix sources. 

La deuxidme phase du precede est une phase 
d'apprentissage qui conslste 4 ajuster, par approches 
successives, des parametres d'une structure approximant la 

forme parametrlque inverse du melange de slgnaux de fa^on A 
minimiser une fonction, appelee fonction de eoGt, qui represente 
une mesure de dependance des composantes s^ de s? 

La figure 1 represente un exemple de dlsposltif de 
separation de sources. 

Ce dlsposltif comprend des moyens 10 approximant une 
forme parametrlque inverse d'un melange de n slgnaux, des 
moyens 11 de calcul d'une fonction de cout et des moyens 12 
d'ajustement des parametres de la forme parametrlque 

inverse. Les moyens 10 regolvent en entree n slgnaux e^ k 
e^ provenant de I'observation d'une transformation Instantanie 
de n slgnaux sources, et deUvrent en sortie n slgnaux s^ k 
correspondant k une transformation inverse des slgnaux 
1 n 

Les moyens 11 re9oivent en entree les n slgnaux s^ 

k provenant des moyens 10 et calculent la fonction de cout 

correspondant k ces slgnaux, cette fonction de cout etant une 

mesure de dependance des slgnaux s- A s . 

T In* 

Les moyens 12 reQoivent en entree la valeur de la 
fonction de coGt calculee par les moyens 11 et calculent de 
nouveUes valeurs des parametres Wy de fa?on k minimiser la 
fonction de coiit. Ces nouveUes valeurs des parametres W 
sont transmlses en retour aux moyens 10. 

Les reseaux de neurones multlcouches sont des 
structures sufflsamment generales pour repr6senter, ou au molns 
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approximer, un grand nombre de formes parametrlques, les poids 
synaptlquGS du reseau etant les parametres Wy. Par 
conseciuent, dans I'exeinple decrlt precisement ci-apres, c'est un 
reseau de neurones multicouches qui est utilise pour approximer 
5 la forme parametrique inverse du melange de signaux, Le 

dimensionnement du reseau ainsi que le choix des fonctions 
deactivation des neurones sont effectues de fayon a etre 
conformes a la forme parametrique inverse du melange de 
signaiix. Le vecteiir d'entree du reseau de neurones est note "e^ 
10 et correspond & I'observatlon d'un melange instantane de n 

signaux originaux constituant les sources notees par le vecteur 
X, le vecteur de sortie du reseau de neurones est note s^et 
correspond k une estimation du vecteur x^i une permutation et a 
une deformation pres. Les vectexirs et x^ ont le m^me 

15 nombre de composantes et ont done la meme dimension. 

La figure 2 represente un exemple de reseau de 
netirones multicouches. 

Ce reseau de neurones est organise en plusieurs 
niveaux, les sorties d'un niveau constituant les entrees du 
20 niveau suivant. Ce reseau comporte trois niveaux comportant 

respectivement Nl, N2, N3 neurones. Les neurones du premier 
niveau n'effectuent aucun traltement et transmettent slmplement 
la valeur e^ qui leur est presentee. 

Les premier et deuxieme niveaux comportent en outre 
un neurone seuil NS qui n'est pas connecte aux entrees et qui 
permet d*ajouter un degre de liberte supplementaire dans la 
masse d'lnformations que constituent les poids synaptiques du 
reseau de neurones. Ce degre de liberte supplementaire permet 
au reseau d'apprendre plus facilement et plus vite. 

Dans le cas du probleme de la separation de sources, 
les premiere et derniere couches du reseau de neurones 
comportent le meme nombre de neurones. Ce nombre de neurones 
est egal & la dimension du vectetir e'^et & ceUe du vecteur T? 

La figure 3 represente un exemple de modelisation d*un 
35 neurone- Un neurone J pent etre modelise A I'aide d*un 



25 
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sommateur pondere, 30, associe k un dispositlf de calcxal d'une 
fonction non lineaire, 31. Lgs valeurs aux entrees I^, I^, 
. . . , Ij, - . . , du sonmatexir pondere, 30, sont multlpUees 

par des coefficients de ponderation respectivement ^1^^ 
" ' ' ^ij ' • • • ' ^nj additionnees pour former une valeur 

intermediaire appelee potentiel du neurone J ft laqueUe est 
applique un calcul de fonction correspondant, f (a^), qui 
foumit la valeur de la sortie Oj de ce neurone J. La fonction 
f (ap est aussi appelee fonction d'acUvation des neurones. 
Les coefficients de ponderation sont les poids sjmaptiques W 
des connexions neuronales entre un neurone J et les entrees 

La phase d'apprentissage est effectuee de la maniere 
suivante decrite ci-apres en reference ft la figure 4. 

Dans line premiere etape 1 les poids synapticpies Wy 
des connexions netironales entre un neurone J et les entrees e^ 
sont initialises pour chacun des netirones. Les valeurs initiales 
des poids des connexions neuronales sont fixees aleatoirement 
selon une loi de pfobabilite uniforme'dans un intervalle -D, +D. 
Pour les neurones d'un niveau donne, la valeur de D est cholsie 
egale ft 1/ ou N est le norabre de neurones du niveau 

inferieur. 

Dans une etape 2, ft un rang d'iteration p donne, un 
exemple de melange e"^de n signaux est presente aux entrees du 
reseau de neurones et les sorties s^ du reseau de neurones 
sont calculees. Le nombre d'iterations total pent etre fixe ft 
I'avance, par exemple p varle entre 1 et 10 000, 

Dans une etape 3, une fonction de cout qui represente 
une mesure de dependance des composantes s^ de s^ est 
calculee. La fonction de cout cholsie est la suivante : 



ou E ^ ^ et E representent, respectivement, les 

valeurs moyennes de S^^ et de Sj^, 
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Les coefficients ffat»^^.0i--^« peuvent etre les 
coefficients determines ci-dessus ou peuvent avoir d'autres 
valeurs si I'on sonhaite tine expression simplifies, mais 11 faut 
necessairement que la fonction de cout soit une forme 

5 quadratique definie positive et que le nombre de moments 

affectes d'un coefficient non nul soit au moias egal au nombre 
d'inconnues dans le melange. 

Pour chaque composante s^ de s/^ cette fonction de 
coiit, C, est la somme de trois termes differents. Le cholx de 

10 cette fonction de coiit permet d'imposer trois contraintes 
differentes pour que la separation des sources soit reallsee. 

Le premier terme de la fonction de cout Impose que la 
valeur moyenne de s^ soit nuUe pour toutes les sorties du 
reseau de nexirones. Cette contrainte permet de slmpllfler les 

15 calculs et notamment de slmplifier l*expression de la mesure de 
dependance. Cette contrainte est toujours possible k reallser 
lorsque la couche de neurones inferieure A la couche de sortie 
comporte un neurone seuil NS ; U suffit alors d'ajuster les 
poids synaptiques des connexions neuronales entre chaque 

20 neurone de la couche de sortie et le neurone seuU de la couche 
de nexirones inferieure & cette couche de sortie. 

Le deuxieme terme de la fonction de cout impose que la 
variance de Sj soit egale k 1 pour toutes les sorties du 
reseau de neurones. Cette contrainte est indispensable car elle 

25 permet d'ecarter la solution la plus simple pour reallser 
I'independance des sources, c^est-&-dire celle qui consiste & 
obtenir des sorties identiquement nulles. 

Le troisieme terme de la fonction de cout impose que 
I'expresslon de la mesure de dependance, (8), pr6cedemment 

30 determinee, soit nuUe. 

Les deux premieres contraintes mentionnees ci-dessus 
permettent egalement de faciliter le choix des ecarts types 
du filtrage gausslen qui Intervient dans les coefficients 
Ha\»An.^\^'^^' de I'expression (8) de la mesure de dependance. 

35 En effet, les valeurs de sorties recherchees etant centrees et 
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de variance unite, E suffit que tous les ecarts types CTl 
soient identiques car toutes les sorties tendent k avoir la meme 
dispersion. Pour facUiter I'apprentlssage, la puissance du 
filtrage gaussien peut etre reduite progressivement. A titre 

5 d'exemple, I'apprentlssage peut commencer avec une valeur 

de ^1 egale a 0,5 qui peut etre reduite progressivement Jusqu'4 
une valeur de Tl egale a 0,05. 

Dans une etape 4, les valeurs des paramStres W. 
sont modifiees en tenant compte des modifications des parametres^^ 

10 AW„ (p-1), effectuees au rang d'iteratlon precedent, p-1, 

ces valeiirs 6tant ponderees par un coefficient de fUtrage ^, 
et en tenant compte de la derivee de la fonction de coGt C par 
rapport 6 W^, cette deriv6e etant ponderee par une valeur 
d'un parametre dit "vltesse d'appreiitlssage", de la manlere 

25 sulvante : ^ 

(10) iiW„ (p) = - n (p, * v-A„ jp.i, 

20 Lorsque les parametres Wj^ sont modifies, un test 

est effectue, dans une etape 5, pour voir s'U s'agit du dernier 
exemple. Si ce test est positif, I'apprentlssage est termine, si 
ce test est negatlf, \m nouvel exemple T*de n slgnaux est 
presents aux entrees du reseau de neurones et les operations 

25 des etapes 2^5 sont de nouveau effectu^es de fagon k ralnlmlser 
la fonction de coGt. Les parametres d'apprentlssage O et de 
filtrage Jj^ sont choisis par I'operateur, par exemple U pourra 
choisir ^ = 0,005 et Y= 0,985. 11 est 6galement possible de 
cholslr une valeur de vltesse d'apprentlssage plus elevee pour 

30 les premiers exemples et de dlminuer progressivement cette 
valeur en cours d'apprentlssage. 

Pour calculer les modifications des parametres AWj^, 
U faut determiner le gradient de la fonction de coat C par 



rapport aux poids synaptlques du reseau. 
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Pour determiner ce gradient, U faut distinguer entre 
deux types differents d'apprentissage : I'apprentissage contlnu 
et I'apprentissage global. 

L'apprentissage contlnu est necessalre lorsque les 
^ exemples de melange de signaux sont des echantUIons e"^ (t) 

presentes en temps reel aux entrees du reseau de neurones • 
Dans ce cas, les valexirs moyennes, & I'lnstant t, des 
composantes s^ de s^(t) ne peuvent pas etre calculees de fa^on 
exacte mais seulement estimees au moyen de filtres passe-bas de 
10 coefficient note b, b etant un nombre reel dont la valeur est 

leg^rement lnf6rleure ft 1. A titre d'exemple, la valeur de b 
pent etre choisle egale ft 0,98. 

en notant R^^^^ ^ ^ {SfK-.S^'^} 

©i = ( 6Xn?,i,o,~..,q r'" 

n 

ou E represente la valeur moyenne, les coefficients ^ ^ ft 
sont des nombres entiers posltlfs ou nuls, et le 
slgnej. represents la transposee 'matrlclelle. Inequation des 
20 filtres et I'equation des moments s'ecrivent : 

(11) A.,„^j<) = (1 • ^sritus^-\t) +b^;..^,(« - 1) 



25 



R ^xi ®* ^ ^1 U n 6tant respectivement des 

estimations deR^^^ ^etdeM^^ obtenues apr^s 

filtrage. 

Le gradient de la fonction co<it peut etre ecrlt de la 
20 fagon sulvante : 

(13) ££1£1 = ^C(0 dSiit) 

Le terme Wjj^ represente la 
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deriv6e des sorties du reseau de neurones par rapport aux poids 
synaptiques et pent etre calcule en utilisant un algorithme 
connu sous le nom d'algorithme de retropropagation du gradient. 

Le calcul du term© '3c(t)/ (t) doit etre 

effectue separement ; son expression se met sous la forme (14) 
sulvante : 

= (1 - b) {R^^ it) + 2 - 1) SAt)} ; 

+(1 - I E I n snt) - n 

I ai...a«t I imt iml i 



L'apprentissage global peut etre effectue lorsque les 
exemples presentes aux entries du reseau de neurones sont 
disponibles et representent un ensemble fini d'echantillons . Les 
moyennes des composantes de X'^peuvent alors §tre calculees 
20 par une sommation sur tous les ectiantillons possibles dont on 
dispose. En notant T le nombre d'echantillons. Inequation (15) 
de la valeur moyenne est la suivante : 

25 (15) ^,..n = :fi:5r(*)-5rco 

^ tssl 



30 



Le gradient de la fonction de cout peut alors etre 
ecrit de la faQon suivante : 



dC _y-Y^ dd dSjjt) 

^^^^ dWit^ kh^^ii^)9Wii. 

Le terme Sj(t)/ Wjj^ peut etre calcule de la 

meme fagon que pour I'apprentissage continu, c'est-&-dlre en 
35 utilisant I'algorithme de retropropagation du gradient. Le 
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calcul du terme ^c/^Sj(t) doit etre effectue separement ; 
son expression se met sous la forme (17) suivEinte : 



dc 

dSj{t) 



+2 (4^^-1)5,(0} 



Dans le cas de I'apprentissage global, les exemples 
sont presentes aux entrees du reseau de neurones dans un 
ordre aleatoire, et un meme exemple peut etre presente plusleurs 
fois. 

A la fin de la phase d'apprentissage, lorsque tous les 
exemples dlsponibles ont 6t6 presentes au reseau de netirones, 
ou lorsque le nombre d'lteratlon total, prealablement fixe, a 
ete attelnt, la fonction de coiit est minlmisSe et les param^tres 
Wy du reseau de neurones sont flges. Le reseau de neurones 
20 est alors pret & realiser la separation de nouveaux melanges de 
n sources independantes lorsque la forme parametrique inverse 
de ces melanges est la m§me que celle dSterminee pendant la 
phase d^apprentissage/ 

Dans line troisieme phase appelee phase de separation 
25 de soxirces, les n signaux originaux correspondant a ces 
nouveaux melanges sont estim^s en calculant la transformation 
Inverse de ces melanges, cette transformation inverse etant 
effectuee par le reseau de neiirones tel que configure pendant la 
phase d'apprentissage. 

La presente invention n'est pas limltee & I'exemple 
precisement decrit, notamment, la forme parametrique Inverse du 
melange peut etre approximee par un disposltlf ayant une 
structure differente d*un reseau de neurones. 

35 
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EEVENDICATIOlsrS 

1 - Procede automatique de separation de sources 
permettant d'estimer n signaxix orlglnaux, appeles sources, k 
partir d*iine observation d'un melange instantane de ces signaux, 
les n sources etant independantes et de variance non nulle, 

5 I'observation etant constituee de n slgnaux, le 'melange etant 

une trans£o3rmation dont une forme parametrique est connue mais 
dont les parametres sont inconnus, caracterlse en ce qu'il 
comporte : 

- ime phase prealable, pendant laquelle une mesure du 
10 degre de dependance de n signaux est deflnie, 

- une phase d'apprentissage, pendant laquelle des 
exemples de melange de n signaux e^ & e^ sont utilises pour 
ajuster, par approches successives, des parametres Wjj d'une 
forme parametrique Inverse associee & une transformation 

15 Inverse, de fagon i minimiser une fonction de cout determinee k 
partir de la mesure du degre de dependance de n signaux s^^ k 
^n P*^^ transformation inverse d'un melange donne, 

une phase de separation de sotirces^ pendant 
laquelle n signaux originaux nouveaux sont estimes a partir 

20 d'xrne observation d'un melange Instantane de ces signaux^ en 
calculant la transformation inverse de I'observation. 

2 - Procede selon la revendicatlon 1, caracterlse en 
ce que, les signaux sources etant des signaux aleatoires ou 
deterministes, la mesure du degre de dependance des n signaux 

25 Sj ii s^ est une forme quadratique deflnie positive obtenue k 
partir des densites d© probabillte p^^ (Sj), pour i variant 
de 1 & n^ et dont une expression en fonction des moments 
croises d'ordre ^ d'ordre ^ i* • • p^i 

signaux s^, . , , , s^ est la suivante : 



30 



-^n ^01 
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ou les coefficients ^cn...a„,j£yj..^„ sont des nombres reels ^ et K 
est un nombre entler positlf. 

3 - Precede selon la revendicatlon 2, caracterise en 
ce que la fonction de cout est choisle de fagon a Imposer trois 

5 contraintes differentes pour que la separation de soxirces soit 

realisee, les deux premieres contraintes imposent que les 
signaux s^ aient une valeur moyenne nuUe et une variance 
egale & l^tinite, et la troisieme contralnte impose que la mesure 
du degre de dependance soit nulle. 

4 - Dispositif de separation de sources pour la mise 
en oeuvre du precede selon I'xine quelconque des revendications 
precedentes, caracterise en ce qu^H comporte : 

- des moyens (10) approximant une forme parametrique 
inverse du irolange destines k recevoir, en entree, n signaux 

15 ®1 * ®n Pi'ovenant de Tobservation d*une transformation 
instantanee de n signaux sources, et ft delivrer en sortie n 
signaxix s^^ ft s^ correspondant ft ime transformation inverse 
des signaux e^ ft e^, 

- des moyens (11) connectes en sortie des moyens (10) 
et destines ft calculer la fonction de cout C correspondant aux 
signaux s^^ ft s^, 

- des moyens (12) connectes en sortie des moyens (10) 
et destines ft calciiler des valeurs des parametres de la 
forme parametrique inverse du melange qui minimisent la fonction 

25 de cout C, et ft transmettre en retour, aux moyens (10), ces 
valeurs des parametres W,,. 
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